AI Papers Daily

#generalizability theory

2 篇

The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations

LLM 品牌推荐重复查询审计的 Dice Roll 标准化协议

🧭 LLM 重复查询审计协议

Department of Information Technologies, Estonian Entrepreneurship University of Applied Sciences (EUAS), Tallinn, Estonia · Rankfor.AI, Tallinn, Estonia

为 LLM 品牌推荐重复查询审计提供统计可靠性迭代标准与指标组合，外部验证 37/39 单元复现

📌 工作参考价值（4 点）

• 在内部评估 LLM 推荐品牌/商品稳定性时，直接套用三档迭代标准：探索性 n=5（G=0.58）、确认性 n=10（G=0.74）、严格 n=15（G=0.81），结合 Cliff's delta 效应量阈值做决策，避免拍脑袋定重复次数。
• 用多指标 battery 替代单一指标：同时统计 count（出现频次）、set（集合重叠）、embedding（语义相似度）、fairness-adjusted PASOR（公平调整），警惕只盯准确率或 top-1 的误导。
• 处理 LLM 输出的计数或离散品牌分布时，用 negative-binomial mixed model 加依赖保持 bootstrap，而不是正态假设的 t-test；token 采样导致的过度离散会很严重。
• 对 prompt 改版、模型升级或温度参数调整，可以引入 KS 检验和 PSI 漂移诊断，在 pinned model snapshot 上监控输出分布变化，防止无声漂移破坏推荐一致性。

Eval | 2026-09-03 | cs.IR | score 6/10

LLM auditingbrand recommendationreliabilitygeneralizability theorybootstrapsimulation-based power

Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers

LLM 品牌回答的噪声从何而来：方差分量分解

🧭 方差分量分解 · 可靠度优化

Estonian Entrepreneurship University of Applied Sciences · Rankfor.AI

将 LLM 品牌推荐的非确定性分解为语言、模型、提示改写和重采样四类方差，指出扩展语言和模型比重复采样更有效提升可靠性

📌 工作参考价值（4 点）

• 评估 LLM 生成推荐（如品牌/商品推荐）的可靠性时，不要只重复多次提问：重复采样的方差贡献大但边际收益低；优先增加语言变体、模型种类可显著降低相对误差。
• 品牌排名可靠性极低（单次回答 ICC 仅 0.01），若用 LLM 做品牌健康度监测或竞品分析，必须设计多语言多模型交叉采样方案，否则结果几乎无区分度。
• 该方法可直接移植到电商搜索推荐评估：通过 G 研究分解方差分量，再通过 D 研究优化样本预算，确定需采样多少 prompt、语言、模型以获得目标可靠度。
• 品牌-语言交互（8.6% 方差）意味着多语言评估时品牌得分随语言变化，提示需要统一语言基准或加入语言控制，避免双语偏差。

Eval | 2026-07-14 | cs.IR | score 6/10

variance componentsreliabilityLLM evaluationbrand recommendationgeneralizability theorymultiverse analysis